Trong lĩnh vực Trí tuệ Nhân tạo, mô hình hóa chuỗi chuyển trọng tâm từ những ảnh chụp tĩnh sang các luồng thời gian. Các bài toán học máy tiêu chuẩn thường giả định rằng các điểm dữ liệu là Độc lập và Phân phối Đồng nhất (IID), nghĩa là thứ tự của các mẫu không ảnh hưởng đến kết quả.
Mô hình hóa chuỗi bác bỏ rõ ràng điều này, tập trung vào ba trụ cột cốt lõi:
- Vi phạm Tính Bất biến Hoán vị: Trong dữ liệu dạng bảng, thứ tự cột là tùy ý. Trong chuỗi, thứ tự là đặc trưng chính. Hoán đổi "The cat ate the rat" thành "The rat ate the cat" thay đổi căn bản chân lý ngữ nghĩa dù các token giống hệt nhau.
- Tự hồi quy Thuộc tính: Chúng ta giả định rằng một quan sát tại thời điểm $t$ được điều kiện hóa về mặt toán học theo lịch sử của nó ($t-1, t-2, \dots, 1$). Điều này đòi hỏi các xác suất chuyển tiếp để nắm bắt cách thông tin tiến triển.
- Ánh xạ Độ dài Thay đổi: Không giống như lưới điểm ảnh 28x28 cố định, các chuỗi như câu văn hoặc sóng địa chấn có tính đàn hồi. Các mô hình phải xử lý đầu vào có độ dài $N$ và tạo ra đầu ra có độ dài $M$ bằng cách sử dụng các tham số nhất quán.